GRP v0.1 Technical Report
GRP v0.1 技术报告:渐进式端到端生成推荐
🧭 生成式推荐 · Semantic ID 与统一排序 ★ 深度解读
Snap Inc.
单编码器-解码器统一生成式召回与排序,冻结排序头作奖励并用带 margin 的 GRPO 保护召回,按渐进路径在线替换级联
📌 工作参考价值(4 点)
- 渐进式迁移:不要一次性替换多阶段级联。先把生成模型作为一个召回源上线,按 source rate / ranking pass rate / engagement profile 与现有源逐一对比,退役被压制源并把 quota 转给模型,再逐步 bypass ranker。这套协议适合把 LLM 生成式召回引入电商/信息流。
- 统一生成与排序的模块设计:用 stop-gradient 的 MHP 作为 ranking head,避免排序 loss 干扰生成表征;候选必须通过 residual path 直接进 DCN-V2,否则 cross-attention 可能学会忽略候选,退化到只学用户先验。业务上可复用到统一召回+精排模型。
- 强化学习要保护 logged target recall:mGRPO 的 one-sided reference-anchored margin 能防止 policy 为 reward 漂移而丢失真实目标;在电商推荐有用户真实行为时,可以把 SFT 后的生成式召回用 RL 微调,并结合 margin 维持召回。
- 工程/新鲜度:item-level fusion 将一个历史 item 压缩为单 token、encoder:decoder 1:2 更省时;Semantic ID 到 item 的映射异步刷新,配合持续增量训练应对 catalog 快速变化;KV cache + CUDA graph + C++ 预处理可把生成检索延迟降约 70%。